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基于 深层 注意 力 的 LSTM 的 特定 主题 情感 分 析 
HH, 梁 cr 


(华北 电力 大 学 控制 与 计算 机 工程 学 院 , 河北 保定 071000) 


摘 要 : 目前 特定 主题 情感 分 析 任 务 中 ， 传 统 的 基于 注意 力 的 深度 学 习 模 型 缺乏 对 主题 特征 和 情感 信息 的 有 效 关注 。 
针对 该 问题 , 构建 了 融合 主题 特征 的 深层 注意 力 的 LSTM 模型 (deeper attention LSTM with aspect embedding, AE-DATT- 
LSTM)， 通 过 共享 权重 的 双向 LSTM 将 主题 词 向 量 和 文本 词 向 量 进行 训练 ， 得 到 主题 特征 和 文本 特征 进行 特征 融合 ， 
经 过 深层 注意 力 机 制 的 处 理 ， 由 分 类 器 得 到 相应 主题 的 情感 分 类 结果 。 在 SemEval-2014 Task4 和 SemEval-2017 Task4 
数据 集 上 的 实验 结果 表明 ， 该 方法 在 特定 主题 情感 分 析 任务 中 ， 较 之 前 基于 注意 力 的 情感 分 析 模型 在 准确 率 和 稳定 性 
上 有 了 进一步 的 提高 。 主 题 特 征 和 深层 注意 力 机 制 的 引入 ， 对 于 基于 特定 主题 的 情感 分 类 任务 具有 重要 的 意义 ， 为 与 
情 分 析 、 问 答 系统 和 文本 推理 等 领域 提供 了 方法 的 支持 。 
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Deeper attention-based LSTM for aspect sentiment analysis 


Hu Chaoju, Liang Ning 
(School of Control & Computer Engineering, North China Electric Power University, Baoding Hebei 071000, China) 


Abstract: In the current aspect sentiment analysis task, the traditional attention-based deep learning model lacks the effective 
attention to the aspect information and the sentiment information. This paper put forward a new LSTM model, which combining 
aspect information and deeper attention. Through the bidirectional LSTM with shared weights, it trained the aspect embedding 
and the text embedding to get the aspect feature and text feature to carry on the feature fusion, and after the deeper attention 
mechanism processing, it obtained the classification result of the corresponding aspect by the classifier. The experimental results 
of the SemEval-2014 Task4 and SemEval-2017 Task4 datasets show that this method has further improved the accuracy and 
stability of the attention-based sentiment analysis model in the aspect sentiment analysis. The introduction of aspect features 
and deeper attention mechanisms is of great significance to the task of sentiment analysis based on aspect, which provides 
method support for public opinion analysis, question answering system and text reasoning. 


Key words: aspect sentiment analysis; deeper attention; LSTM; deep learning; natural language processing 


中 有 着 优异 的 表现 ， 如 机 器 翻译 、 语 义 识别 、 问 答 系统 和 文本 

摘要 等 。 同 时 ， 在 情感 分 析 任 务 中 ， 深 度 学 习 模型 在 没有 人 

随 着 互联 网 行业 的 发 展 ， 电 商 评论 和 社交 平台 的 推广 ， 积 ”标注 的 特征 工程 前 提 下 ， 提 高 了 分 类 的 准确 率 。Socher 等 全 

累 了 大 量 的 短文 本 信息 数据 。 通 过 提取 这 些 数 据 中 蕴涵 的 观点 ”将 递归 神经 网 络 用 于 情感 树 的 构建 ,提高 了 情感 检测 的 准确 率 。 
和 情感 ， 能 够 帮助 人 们 更 好 地 作 一 些 决 策 和 推广 。 利 用 自然 语 Tang 等 人 外 采用 循环 神经 网 络 建立 篇 章 级 循环 神经 网 络 模型 ， 
言 处 理 的 技术 进行 文本 情感 分 析 ， 已 成 为 国内 外 研究 的 热点 领 。” 该 模型 相 比 标准 的 循环 神经 网 络 模型 具有 较 高 的 优越 性 ， 在 情 
Till, 感 分 类 任务 中 取得 了 进步 。Tai 等 人 器 改进 标准 的 LSTM 模型 ， 
情感 分 析 ， 也 称 为 观点 挖掘 ， 作 为 NLP 领域 和 计算 语言 学 引入 Tree-LSTM 模型 ， 该 模型 建立 了 树 状 LSTM 的 网 络 拓 才 


0 引言 


T 


的 基本 任务 ， 近 几 年 在 工业 界 和 学 术 界 受到 越 来 越 多 的 关注 。 结构 ， 在 情感 分 类 任务 中 有 较 好 的 表现 。 

情感 分 析 任 务 的 关键 是 去 理解 用 户 在 社交 媒体 和 产品 评论 中 j 注意 力 机 制 来 源 于 人 脑 关注 事物 的 关键 部 分 分 配 更 多 的 注 

生 的 文本 信息 ， 从 中 挖掘 情感 信息 中。 意 力 ， 通 过 计算 注意 力 概 率 分 布 ， 对 关键 性 输入 进行 突出 ， 从 
近年 来 ， 基 于 深度 学 习 的 方法 在 许多 自然 语言 处 理 的 任务 。 而 对 传统 的 模型 起 到 优化 作用 。 注 意 力 机 制 最 早 由 Mnih 等 人 
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[6] 将 循环 神经 网 络 模型 中 引入 注意 力 机 制 ， 从 而 提高 了 图 像 分 SemEval-2017 情感 分 类 任务 中 ， 取 得 了 比较 好 的 效果 。 从 这 些 
类 的 准确 率 。 随后 , 注意 力 机 制 在 机 器 翻译 中 和 文本 摘要 久 等 自 研究 工作 中 可 以 看 出 ， 融 合 特定 主题 和 注意 力 的 深度 学 习 模 型 
然 语 言 处 理 领 域 中 取得 了 很 好 的 效果 。Yang 等 人 四 提出 的 层级 己 经 在 特定 主题 情感 分 析 任 务 中 取得 了 很 多 的 成 果 。 但 是 这 些 
注意 力 网 络 用 于 文本 分 类 ， 分 类 的 效果 要 比 之 前 提出 的 模型 效 。 模型 没有 充分 融合 经 过 特征 提取 后 的 主题 信息 ， 对 于 注意 力 的 
果 好 。Pavlopoulos 等 人 [9 提出 深层 注意 力 机 制 , 将 其 应 用 到 审 应 用 ， 也 未 能 将 多 层 注 意 力 机 制 应 用 到 情感 分 析 的 任务 中 。 
核 用 户 评论 ， 取 得 了 比 RNN 更 好 的 效果 。 在 自然 语言 处 理 领 融合 主题 信息 的 深度 学 习 模 型 ， 虽 然 将 主题 信息 作为 单独 
域 ， 注 意 力 机 制 能 够 使 模型 关注 句子 中 重要 的 部 分 。 在 情感 分 。 的 输入 ， 改 善 了 主题 信息 在 文本 中 的 作用 ， 但 是 不 能 够 把 文本 
析 任 务 中 ， 许 多 模型 已 经 利用 注意 力 能 够 获取 句子 中 重要 信息 ”信息 中 影响 主题 的 关键 部 分 提取 出 来 。 基 于 注意 力 的 深度 学 习 
这 一 优势 ， 从 而 获取 到 比较 理想 的 效果 。 模型 能 够 获取 到 文本 中 关键 信息 ,但 是 忽略 了 主题 信息 的 作用 。 
1 ”相关 工作 融合 主题 信息 和 单 / io MERE dd i vag nd 
ATAE-LSTMU^I, 将 主题 信息 与 文本 信息 进行 连接 作为 输入 , 采 
1.1 特定 主题 情感 分 析 用 单 层 注意 力 ， 未 能 充分 有 效 的 利用 主题 信息 和 文本 中 的 关键 
特定 主题 情感 分 类 是 细 粒 度 情 感 分 类 任务 ， 该 任务 的 目标 童 息 。 本 文 构建 的 融合 主题 特征 的 深度 注意 力 的 LSTM 模型 ， 
是 对 于 给 定 的 句子 和 句子 中 出 现 的 主题 ， 推 测 相应 主题 对 应 的 ”将 文本 信息 和 主题 信息 同时 作为 输入 ,利用 双向 LSTM 共享 权 
T6 RARE", W Positive, Negative 和 Neutral。 例如 , 在 “the — 重 的 方式 进行 训练 ， 将 得 到 的 文本 特征 和 主题 特征 进行 融合 ， 
food is great and they have a good selection of wines at reasonable 将 得 到 的 融合 特征 利用 深层 注意 力 机 制 进行 处 理 ， 有 效 识别 文 
prices. ”中 ,主题 “food ”的 情感 极 性 是 Positive, 然而 主题 “price” 本 中 不 同 主题 的 情感 信息 。 
的 情感 极 性 是 Negative。 本 文中 的 主题 信息 来 源 于 已 提取 好 的 1.2 LSTM 
训练 集 和 测试 集 , 在 实际 应 用 中 , 可 以 通过 TF-IDF 或 者 LDA 来 循环 神经 网 络 (RNN) 改进 了 前 馈 神 经 网 络 ， 但 是 循环 神 
在 关键 词 中 自动 提取 主题 信息 。 目 前 ， 大 多 数 文献 中 的 方法 党 经 网 络 依然 面临 着 梯度 消失 和 梯度 爆炸 问题 .为 了 解决 该 问题 ， 
试 去 挖掘 整个 句子 的 情感 极 性 , 没有 考虑 针对 特定 主题 的 情况 。 Hochreiter 等 人 "提出 和 实现 了 长 短 记忆 网 络 。 在 一 个 LSTM 
传统 的 方法 经 过 一 系列 的 人 工 标 注 特征 来 解决 这 个 问题 。 随 模型 中 ， 包 括 输入 门 刻 、 遗 访 门 六、 输出 门 o' 和 记忆 单元 c 。 
情感 词典 的 不 断 构建 ， 情 感 分 析 任 务 使 用 基于 词典 的 特征 进行 。” 输入 词 向 量 序列 {7%, 加 ,…, 丸 } ， 尺 是 一 个 LSTM 单元 的 输入 ， 
分 析 。 大 多 数 的 研究 集中 在 利用 特征 构建 情感 分 类 器 ， 包 括 词 。” 表示 输入 序列 中 一 个 单词 的 词 向 量 。 h 表示 隐藏 层 向 量 , LSTM 
构 


zm 


袋 模 型 和 情感 词典 的 构建 ,具有 代表 性 的 方法 包括 基于 SVM 的 ” 中 每 个 单元 的 三 个 门 和 记忆 单元 的 计算 如 下 : 

方法 "和 基于 神经 网 络 的 方法 ""。 神 经 网 络 模型 能 够 在 不 需要 xen " 

关注 特征 工程 能 够 很 好 地 学 习 到 数据 中 的 特征 表示 ， 并 且 能 够 X 

在 上 下 文 与 主题 信息 之 间 更 好 地 获取 到 语义 关系 和 情感 信息 。 f, * o(W,- X +b,) Q) 
神经 网 络 模型 能 够 有 效 地 学 习 到 特征 表示 ， 因 此 ， 能 够 提 i =0(W,: X +b,) (3) 

高 特定 主题 情感 分 类 任务 。Tang 等 人 03 提 出 的 TD-LSTM 和 0, - G(Wo: X * bj) (4) 

TC-LSTM 模型 , 考虑 了 主题 信息 , 在 特定 主题 的 情感 分 类 任务 c, =f, Oc, +i Otanh(W, - X € b.) (5) 

中 , 提高 了 分 类 的 准确 率 。TC-LSTM 通过 平均 主题 信息 中 包含 h, 2 o, © tanh(c,) (6) 

的 词 向 量 获取 主题 词 向 量 。Wang 等 人 09 提 出 的 基于 注意 力 机 Jub. WWW eR? do BUR, bb b ER, ER 

制 的 特定 主题 情感 分 析 ， 使 注意 力 机 制 能 在 不 同 注意 力 被 输入 i l 


时 ， 关 注 句子 的 不 同 部 分 ， 该 模型 也 在 特定 主题 情感 分 类 任务  LSTM 在 训练 过 程 中 学 习 到 的 偏 置 值 ，o 表示 激活 函数 ，@ 表 
上 取得 了 比较 好 的 效果 。Chen 等 人 U7 提出 的 基于 循环 注意 力 记 。” 示 逐个 点 乘积 。 

忆 网 络 的 特定 主题 情感 分 析 ， 将 循环 神经 网 络 把 多 个 位 置 注 意 — 1.3 ”注意 力 机 制 

力 机 制 进行 非 线性 的 组 合 , 使 模型 能 够 处 理 更 复杂 的 句子 。Tang 注意 力 机 制 能 够 使 模型 更 多 地 关注 文本 中 的 重要 信息 。 根 
等 人 (9 提出 的 基于 深度 记忆 网 络 的 特定 主题 情感 分 析 , 将 内 容 JE LSTM 产生 的 隐藏 层 特征 五 =[h,…,h] 构建 注意 力 机 制 的 
注意 力 与 位 置 注意 力 构建 深度 记忆 网 络 ， 该 模型 能 够 捕获 特定 A HRN, EP: od 表示 隐藏 层 的 长 度 ，N 表示 输入 句子 
主题 情感 分 类 中 重要 的 上 下 文 单词 ， 在 处 理 速度 和 准确 度 上 有 ”的 长 度 。 注 意 力 机 制 将 会 产生 注意 力 权重 和 矩阵 a 和 特征 表示 v 。 
提升 。 梁 斌 等 人 09 提 出 的 基于 多 注意 力 卷 积 神经 网 络 的 特定 u, - tanh(W,h, + b,) (7) 
标 情感 分 析 ， 融 合 三 种 注意 力 机 制 构造 多 注意 力 卷 积 神经 网 络 


pin 


mk 


模型 ， 取 得 了 比 普通 卷 积 神经 网 络 、 基 于 单 注意 力 机 制 的 卷 各 cz nau 8) 
jexp|u; 
神经 网 络 和 基于 注意 力 机 制 的 LSTM 网 络 更 好 的 情感 分 类 效果 。 disi 


Baziotis $% APO ET H f] SEP YE ERZJHUIRBE LSTM 模型 ， 在 v-lah, (9) 
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2 ”融合 主题 特征 的 深层 注意 力 的 LSTM 模型 


为 了 关注 更 多 有 价值 的 信息 ， 本 文 提出 了 融合 主题 的 深层 
注意 力 的 LSTM 模型 (deeper attention LSTM with aspect 
embedding，AE-DAIT-LSTM)， 利 用 改进 后 的 注意 力 模型 和 两 
层 双 向 LSTM 构成 ， 能 够 更 好 地 提取 主题 信息 和 情感 信息 。 深 


胡 朝 举 ， 等 : 


词 。 特定 主题 情感 分 析 的 目标 是 决定 文本 s 中 对 于 主题 词 w 的 
情感 极 性 。 例 如 ， 文 本 “Ifyou want acasual neighborhood bistro 


that has great food and excellent service, this is the place.”， 对 于 
主题 “food ”来 说 , 情感 极 性 是 Positive, 但 是 对 于 主题 “service” 
来 说 , 情感 极 性 是 Positive。 当 处 理 一 个 文本 集 的 时 , 将 每 个 词 
映射 到 低 维度 、 连 续 的 和 实 值 向 量 ， 也 称 做 词 向 量 。 所 有 的 词 


度 注意 力 LSTM 模型 共 包 含 词 向 量 层 、 双 向 LSTM 层 、 池 化 
特征 融合 层 、 注 意 力 层 ， 其 中 这 五 层 的 构建 过 程 如 图 B. 
24 任务 定义 

对 于 由 nn 个 词组 成 的 句子 或 文本 $= {WW Ws Ww), 
以 下 内 容 用 文本 作为 句子 的 统称 ，w; 为 一 个 文本 中 出 现 的 主题 


Mil 


向 量 由 一 个 词 向 量 和 矩阵 Le RP, 其 中 : d 表示 词 向 量 的 维度 ; 
|V | 表示 词典 的 大 小 。 文 本 中 词 w, 表 示 的 词 向 量 为 we R^, 


主题 词 w; 表 示 的 词 向 量 为 We R^, wf w; ris E] ERE EE L 


中 的 一 列 。 


Backward 
LSTM 


Forward 
LSTM 


Word 
Embedding 


2.2 构建 词 向 量 输入 层 
融合 主题 特征 的 深层 注意 力 的 LSTM 网 络 的 输入 1 
构成 ， 将 文本 中 词 的 输入 序列 转换 成 词 向 量 为 


w = 全) ， 其 中 ，n 表示 文本 中 词 的 数量 ; 将 文本 中 


的 主题 词 转换 为 词 向 量 位 置 W www), Rep, m 表示 


文本 中 主题 的 词 的 数量 。 
2.3 构建 双向 LSTM 
为 了 能 够 在 文本 词 向 量 与 主题 词 向 量 之 间 更 有 意义 的 比较 ， 
本 文 使 用 共享 权重 的 双向 LSTM 将 文本 和 主题 映射 到 相同 向 量 
空间 。 双 向 LSTM 在 文本 层面 产生 的 特征 序列 为 


大 = 人 大 ,大 大 ， 在 主题 层面 产生 的 特征 向 量 


为 H' ={h hht ， 每 一 部 分 特征 日 前 向 和 后 项 


句 量 都 是 


jani 


LSTM 连接 产生 。 n -m|h  heR", je(st), Km, I 


表示 连接 操作 ;， 工 表示 每 个 LSTM 的 大 小 。 


征 的 深层 注意 力 的 LSTM 模型 


2.4 池 化 层 


本 文 使 用 


个 池 化 层 将 主题 特征 进行 聚合 ， 进 而 产生 单 


jm 


的 特征 。 池 化 层 利用 mean over time 生成 主题 特征 ， h= EF is 


2.5 ”特征 融合 层 
将 文本 经 过 LSTM 产生 的 特征 与 经 过 池 化 层 将 主题 聚合 后 


的 特征 进行 连接 ， 对 每 一 个 词 形 成 融合 特征 ， 及 = Ik 


hj e R” 
2.6 深层 注意 力 


文本 中 针对 特定 主题 的 情感 分 析 ， 需 要 更 多 地 关注 句子 中 
的 主题 信息 和 情感 词 信息 。 因 此 本 文 引入 多 层 MLP 构建 的 深 
度 注意 力 机 制 去 提取 句子 中 含有 重要 意义 的 主题 词 和 情感 词 。 

为 了 增强 对 于 句子 中 针对 主题 表达 情感 词 向 量 的 贡献 率 ， 
采用 深层 感知 注意 力 机 制 , 通过 多 层 MLP 实现 模型 。 通过 1 层 
MLP 深层 语义 注意 力 ， 产 生 注 意 力 权重 as. 
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其 中 ， wh Ww. VO, 0 2). uU genes. 


V n 作为 情感 分 类 的 特征 ， 
进行 情感 分 类 。 


利用 softmax 分 类 器 ， 将 文本 


p= softmax[w, 1 十 b. (15) 


2.7 ”模型 训练 

本 文 的 模型 训练 采用 端 到 端的 反 向 传播 方式 ,目标 函数 ( 代 
价 函数 ) 采用 交叉 粮 代 价 函 数 。 将 》 作 为 文本 中 已 知 目标 主题 
分 配 的 情感 类 别 ， 将 了 作为 文本 中 目标 主题 的 预测 情感 类 别 。 
模型 训练 的 目标 是 最 小 化 所 有 句子 中 已 知情 感 类 别 和 预测 情感 
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loss - -XX yj tog 3] «AMI (16) 
其 中 : i 表示 句子 的 索引 ; j 表 类 别 的 索引 ， 共 分 为 三 类 ; AG 


示 卫 正则 化 ， 为 代价 函数 的 惩罚 项 ，9 表示 设置 的 参数 。 


3 ”实验 


本 文 将 融合 主题 特征 的 深层 注意 力 LSTM 模型 应 用 到 特定 
主题 情感 分 类 任务 上 。 在 本 文 的 实验 中 采用 等 


Pennington $ A P7 
提出 的 预 训练 好 的 300 维 Glove 词 向 量 进行 初始 化 ， 词 典 的 大 


小 为 1.9 M。 对 于 词典 中 未 出 现 的 词 , 采用 均匀 分 布 U(-e,&)， 


进行 随机 初始 化 ， 其 中 设置 为 0.01。 对 于 一 个 文本 中 已 知 的 
主题 , 目标 是 确定 该 主题 的 情感 极 性 。 例如 , 给 定 一 个 文本 “The 
restaurant was too expensive.”， 该 文本 的 主题 词 是 price, 情感 极 
性 是 Negative。 该 情感 分 析 模 型 运行 在 Unbuntu 16.04 系统 ， 运 
行 环境 为 Keras 1.2.2 和 NVIDIA GTX 1050ti 显卡 。 
3.1 实验 数据 

本 文 实验 采用 的 英文 数据 为 SemEval-2014 Task4 数据 身 
和 SemEval-2017 Task4 数据 集 ”。SemEval 是 语义 评测 比赛 任 
务 的 数据 集 。SemEval-2014 Task4 包含 Laptop 和 Restaurant 两 
个 数据 集 。 由 于 只 有 Restaurant 数据 集 包 含 基于 主题 的 情感 极 
性 ， 所 以 本 文 实验 采用 Restaurant 数据 集 ， 包 含 顾 客 的 评论 文 
本 , 其 中 有 Positive, Neutral 和 Negative 三 种 情感 , {food, price, 


YE 


mt 


service, ambience, anecdotes/miscellaneous} 五 种 主题 。SemEval- 
2017 Task4 包含 Twitter 的 评论 数据 ,该 评论 的 主题 从 文本 中 摘 


取 ， 属 于 主题 的 情感 极 性 包含 Positive 和 Negative 两 种 。 每 条 
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i" 


评论 都 包含 一 系列 的 3 
是 区 分 文本 中 不 同 主题 的 情感 极 怕 


hit 


E 题 和 主题 相关 的 情感 极 性 。 本 文 的 


标 


E， 包 括 Positive 和 Negative 


两 种 情感 。 本 文 实验 所 需要 的 数据 统计 如 表 1 所 示 。 


AY 实验 数据 统计 
Data Set Positive Neutral Negative 
Train 2179 500 839 
Restaurant 
Test 657 94 222 
Train 14 897 - 3 997 
Twitter 
Test 2 463 - 3722 
3.2 ”实验 参数 设置 
文本 中 词 向 量 的 维度 、 主 题词 向 量 的 维度 和 经 过 LSTM 输 
出 的 特征 连接 后 的 维度 都 为 300。 注 意 力 权重 的 维度 和 文本 中 
的 长 度 是 一 致 的 。 通 过 每 个 batch 中 64 个 样本 的 方式 进行 模型 


的 训练 , 设置 Adam 的 学 习 率 为 0.001, 设 


ARAT PK Z K AE T D 


为 0.001. 深层 注意 力 的 层 数 设置 为 4 层 。 Dropout 设置 为 0.5。 


同时 设置 LSTM 的 层 数 为 64 层 ,双向 LSTM 的 层 数 为 128 


3.3 ”实验 对 比 


将 本 文 提出 的 融合 主题 词 向 量 的 深层 注意 力 LSTM 方法 
AE-DATT-LSTM 与 以 下 六 种 方法 在 7 


验 : 


a) LSTM。 标 ; 


主题 信息 。 虽 然 给 予 不 同 的 3 
b) TD-LSTM。Tang fH 


已 
Zo 


ERJ LSTM 模型 EJ 不 能 获取 到 文本 中 任 
E 题 ， 但 得 到 情感 极 性 都 一 致 。 
来 的 TD-LSTM 方法 03， 使 


向 和 后 向 LSTM 方法 在 3 
step， 模 型 TD-LSTM 采 


题词 之 前 和 之 后 提取 信 


页 个 不 同 数据 集 上 进行 实 


可 的 


EYA 


前 


。 最 后 一 个 


BE 


] LSTM 的 输出 特征 来 表示 预测 内 容 


分 类 。TD-LSTM 通过 将 一 个 主题 特征 作为 


分 类 的 表现 。 但 是 


于 没有 在 TD-LSTM 模型 中 应 


fill, 


型 05 在 原来 TD-LSTM HH 


不 能 够 获取 文本 中 对 于 给 定 主题 的 如 


个 目标 改善 情感 
用 注意 力 机 
E Efe s. 


c) TC-LSTM. Tang 改进 了 TD-LSTM 模型 。TC-LSTM 模 
础 上 ， 将 主题 向 量 引 入 一 个 句子 的 


其 连接 组 成 一 


能 够 侦 测 到 文本 中 的 如 


了 注意 力 机 制 ， 提 出 AT-LSTM 模型 (16 


定 主题 的 关键 部 分 。 


特征 表示 。TC-LSTM 模型 引入 了 主题 连接 组 件 , 能 够 更 好 地 利 
主题 词 和 文本 中 每 个 词 ,将 
d) AT-LSTM。 标 准 


个 文本 的 特征 表示 。 


的 LSTM 对 于 基于 主题 的 情感 分 类 不 


要 信息 。 为 了 解决 这 个 问题 , Wang 引入 
， 能 够 获取 到 文本 中 给 


e) ATAE-LSTM。AE-LSTM 中 使 用 主题 信息 的 方式 让 主题 
词 向 量 在 注意 力 权重 


Eu. Wang 改进 
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p 
要 的 


EH. 
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FPF 起 到 了 


为 了 更 好 地 利用 主 


AE-LSTM， 提 出 AIAE-LSTMI9， 将 主 


题词 向 量 连接 到 每 个 和 


f) AE-ATT-BLSTM. 融合 主题 的 单 层 注 
该 方法 主要 在 特征 融合 层 之 后 加 一 个 基于 


词 的 输入 向 量 。 


Ext JJ LSTM 方法 。 


Hn 
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3.4 实验 结果 与 实验 分 析 


本 文选 取 SemEval-2014 Task4 中 Restaurant 数据 集 的 1 
样本 作为 融合 主题 特 行 


EJE MLP 的 注意 力 。 


| 练 


E 的 深层 注意 力 LSTM 方法 的 训练 集 进 行 
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模型 训练 和 交叉 校 验 ， 采 用 其 测试 样 例 进行 测试 ， 得 到 的 结果 
如 表 2 所 示 。 其 中 表 2 给 出 的 是 六 种 模型 在 Restaurant 数据 外 
上 的 三 种 情感 极 性 (Positive、Negative 和 Neutral) 和 两 种 情感 
极 性 (Positive 和 Negative) 的 分 类 准确 率 效 果 。 本 文 提出 的 上 

合 主题 特征 的 深层 注意 力 LSTM 模型 比 其 他 六 种 模型 都 能 提高 
分 类 的 准确 率 。 引 入 主题 特征 的 模型 比 无 主题 特征 的 模型 效果 
要 更 好 ， 引 入 注意 力 特 征 的 比 无 注意 力 特 征 的 效果 要 好 。 因 此 
可 以 得 出 ， 主 题 特征 和 注意 力 机 制 的 引入 ， 对 于 基于 特定 主题 
的 情感 分 类 任务 具有 重要 的 意义 。 融 合 主题 特征 的 深层 注意 力 
LSTM 模型 要 比 单 引 入 注意 力 的 和 单 引入 主题 的 效果 都 要 好 。 
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表 2 六 种 方法 在 Restaurant 数据 集 的 分 类 准确 率 
Models Pos/Neg/Neu Pos/Neg 
LSTM 82.0 88.3 

TD-LSTM 82.6 89.1 
TC-LSTM 81.9 89.2 
AT-LSTM 83.1 89.6 
ATAE-LSTM 84.0 89.9 
AE-ATT-LSTM 85.2 90.4 
AE-DATT-LSTM 86.3 90.7 


本 文 将 融合 主题 特征 的 深层 注意 力 的 LSTM 模型 在 50 次 
epoch 过 程 中 的 训练 过 程 进行 分 析 , 其 中 包含 accuracy、precision 
和 recall 的 变化 趋势 图 。 展示 的 是 融合 主题 的 深层 LSTM 


图 2 
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分 类 的 准确 率 上 取得 了 更 好 的 效果 。 


0.95 
0.9 
0.85 
I 
g 
3 
9 0.8 
< 
一 一 AE-DATFBLSTM 
0.75 
— — AE-ATT-BLSTM 
0.7 Liua 
1 3 5 7 9 1113 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 
epoci 


图 3 融合 主题 的 单 层 与 深层 注意 力 的 准确 率 对 比 
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表 3 Twitter 数据 集 分 类 ;准确 率 


Q4 融合 主题 的 单 层 与 深层 注意 力 的 F 值 对 比 


模型 在 50 个 epoch 内 的 训练 和 测试 过 程 , 包括 模型 中 损失 函数 
的 变化 ， 训 练 、 交 叉 验 证 和 测试 中 accuracy. precision 和 recall 
的 变化 情况 。 在 测试 阶段 ， 当 第 18 个 epoch 时 ， 分 类 效果 取得 
最 优 ， 此 时 的 F 值 为 87.64。 


naama s 


图 2 ”融合 主题 的 深层 注意 力 的 LSTM 训练 过 程 


图 3 


展示 的 是 融合 主题 特征 的 单 层 注意 力 和 深层 注意 力 
LSTM 准确 率 对 比 。 在 50 个 epoch 训练 过 程 中 ， 融 合 主题 特征 
的 深层 注意 力 LSTM 模型 要 比 单 层 注意 力 LSTM 模型 的 整体 
效果 要 好 。 图 4 展示 的 是 单 层 注意 力 和 深层 注意 力 的 Fl 值 的 
对 比 。 从 中 可 以 得 出 深层 注意 力 LSTM 模型 要 比 单 层 注意 力 模 
型 在 整体 上 效果 更 佳 。 

为 了 验证 本 文 提出 的 方法 在 不 同 数据 集 上 都 能 取得 较 好 的 


Models Positive/Negative 
AE-ATT-LSTM 85.08 
AE-DATT-LSTM 85.62 


3.5 可视化 注意 力 机 制 


为 了 更 好 地 理解 深层 注意 力 模 型 ， 本 文 抽 取出 Restaurant 
数据 集中 的 一 个 样本 ， 可 视 化 文本 中 上 下 文 单词 的 权重 。 5 
展示 的 是 基于 深层 注意 力 LSTM 模型 的 结果 。 文本 (a) 表 示 的 主 


题 是 


他 主题 和 其 他 情感 词 。 
ES 
ol | 


great food but the 


图 5 


service 


4 ”结束 语 


was dreadful 


特定 主题 文本 


“food”， 文 本 (b) 表 示 的 主题 是 “service”。 颜 色 深 度 表 示 
在 注意 力 向 量 w 中 权重 的 重要 等 级 。 注 意 力 能 够 动态 的 侦 测 到 
整个 文本 中 的 针对 已 知 主题 的 情感 单词 ， 即 使 文本 中 包含 有 其 


针对 特定 主题 情感 分 类 任务 中 ， 大 多 数 方法 没有 对 主题 信 


息 和 情感 信息 进行 有 效 的 结合 ， 本 文 构建 了 副 


th 合 主题 特征 的 深 


情感 分 类 效果 ， 将 AE-ATT-LSTM 与 AE-DATT-LSTM 模型 在 
SemEval-2017 Task4 中 Twitter 的 评论 数据 集 上 进行 实验 ,实验 
结果 如 表 3 所 示 。 实 验 结果 表明 ， 该 任务 中 融合 主题 特征 的 多 
层 注 意 力 的 LSTM 模型 要 比 融合 主题 特征 的 单 层 注意 力 模型 在 


重 的 双向 LSTM 模型 进行 训练 ， 
注意 力 机 制 的 处 理 ， 当 给 出 文本 中 不 
获取 到 文本 中 的 不 同 信息 。 通 过 在 不 


层 注 意 力 LSTM 方法 , 将 主题 词 向 量 和 文本 词 向 量 通 过 共享 权 
从 而 进行 特征 融合 。 经 过 深层 
同 的 主题 时 ， 该 方法 能 够 


同 评测 集 上 的 对 比 实验 表 
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明 ， 该 方法 比 本 文 提 到 的 其 他 方法 在 准确 率 和 稳定 性 上 有 了 进 
一 步 的 提升 ， 从 而 能 够 更 好 的 解决 特定 主题 情感 分 析 任 务 。 

本 文 方法 未 考虑 词性 信息 ， 如 何 将 词性 注意 力 方 法 引入 到 
特定 主题 情感 分 析 任 务 中 ， 是 下 一 步 工 作 的 重点 。 本 文 接 下 来 
将 针对 词性 问题 进行 改进 。 
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